Thời kỳ Nam Bắc triều, do quân quyền của các triều đại nằm trong tay quyền thần nên thường phát sinh việc đoạt vị. Chế độ quân sự của Nam triều phần lớn kế tục binh chế Lưỡng Tấn, tuy nhiên "thế binh chế" suy lạc, do vậy lấy "mộ binh chế" làm chủ yếu. Vào sơ kỳ Bắc Ngụy, Bắc Ngụy thi hành chính sách quân sự "bộ tộc binh chế", tức binh dân hợp nhất, sau khi thống nhất Hoa Bắc thì dần chuyển sang "thế binh chế".[58] Hậu kỳ Bắc triều, xuất hiện "phủ binh chế", trở thành cơ sở binh chế thời Tùy-Đường sau đó. Tuy nhiên, "phủ binh chế" của Tây Ngụy-Bắc Ngụy đều không như "phủ binh chế" thời Tùy-Đường: thời bình là dân, thời chiến là binh; binh không biết tướng, tướng không biết binh,[59] mà là binh chế Tiên Ti, là chế độ bộ tù phân thuộc, là chế độ binh nông phân ly chế, là chế độ quý tộc đặc thù.[60]

Binh chủng Nam triều lấy bộ binh và thủy binh là chính, kị binh khá ít, binh lấy theo "thế binh chế". Tuy nhiên, do tiêu hao trong chiến tranh, sĩ binh chạy trốn và bị tư gia phân cát, một bộ phận "binh hộ" biến thành "dân hộ", nguồn binh trở nên cạn kiệt, do vậy phải lấy "mộ binh chế" là chính. Quân đội Nam triều phân thành Trung quân (còn gọi là Đài quân) và ngoại quân; Trung quân trực thuộc trung ương, thời bình trú thủ kinh thành, khi có biến cố thì xuất chinh. Thời Lưu Tống, Vũ Đế Lưu Dụ cho tăng cường binh lực hoàng cung, nhằm đảo ngược cục diện "ngoại cường nội nhược" kéo dài từ thời Đông Tấn. Tuy nhiên, do tông thất tự tàn sát lẫn nhau nên mong muốn này thất bại, nhiều lần phát sinh sự việc soán vị. Ngoại quân quy thuộc quyền quản chế của đô đốc các địa phương, đô đốc phần nhiều kiêm nhiệm thứ sử, thường kháng lại triều đình trung ương.[61]

Vào sơ kỳ, quân đội Bắc Ngụy lấy kị binh Tiên Ti là chính, các bộ tự đoạt lấy sản vật để tiếp tế cho quân đội. Trong quá trình thống nhất Hoa Bắc, người Hán dần gia nhập vào quân đội Bắc Ngụy. Sau khi chiến tranh công thành gia tăng, quân đội Bắc Ngụy biến thành bộ-kị binh hỗn hợp, sau đó bộ binh trở thành binh chủng chủ lực trong quân đội Bắc Ngụy. Sau khi Bắc Ngụy thống nhất Hoa Bắc, quân đội phân thành "trung quân", "trấn thú binh" và "châu quận binh". Trung quân vào thời bình thì bảo vệ kinh thành, khi có biến cố bên ngoài thì trở thành đơn vị tác chiến chủ lực. Trấn thú binh là những đội quân được thiết lập để bảo vệ biên phòng; "trấn" tương đương với châu, "thú" tương đương với quận. Ban đầu, "trấn thú binh" chỉ đặt ở biên cảnh phía bắc, về sau lan ra biên cảnh phía nam. Châu quận binh là đội quân duy trì trị an các châu, có khi được sung trấn thú binh hoặc theo quân đi tác chiến. Bắc Ngụy vào hậu kỳ dần hình thành "binh hộ" cố định.[58]

Quân đội Đông Ngụy và Bắc Tề chủ yếu do dân Lục trấn và binh sĩ Tiên Ti tại Lạc Dương tổ thành, vào thời Bắc Tề biên thành "bách bảo Tiên Ti". Ngoài ra, cũng tuyển dũng sĩ người Hán đi phòng bị biên giới. Tây Ngụy và Bắc Chu chịu ảnh hưởng của truyền thống Tiên Ti và văn hóa Hán, vào năm 550 thì sáng lập "phủ binh chế". Chế độ này đem quân dân Lục trấn dời đến Quan Trung phân thành Lục quân, đồng thời đặt ra tám vị "Thượng trụ quốc đại tướng quân". Quyền thần Tây Ngụy là Vũ Văn Thái là thống soái tối cao, Quảng Lăng vương Nguyên Hân không có thực quyền, sáu thượng trụ quốc khác phân lĩnh phủ binh. Thời Bắc Chu, triều đình gia tăng số lượng thượng trụ quốc, đồng thời tập trung binh quyền vào trong tay hoàng đế.[62] Tuy nhiên, "phủ binh chế" vào thời kỳ này không giống với "phủ binh chế" thời Tùy-Đường, họ vẫn là những binh sĩ chuyên nghiệp, Vũ Văn Thái đem tướng lĩnh phủ binh (cùng sĩ tốt của họ) cải sang họ Tiên Ti, kết hợp với việc cấp cho đất đai.[63] hợp thành một nhóm người ở Quan Trung có nghề nghiệp là quân nhân, dân tộc là người Hồ, được tổ chức thành một đội quân lớn mạnh theo quy cách bộ lạc.[64] Mặc dù phủ binh là chủ lực song vẫn có trung quân bảo vệ kinh sư, trấn thú binh cùng châu quận binh và các đội quân khác. Thế gia hào tộc có thế lực lớn mạnh, phần lớn họ đều có tư binh với thực lực không hế yếu kém.